Triệu Kiến Đức là con trai của Triệu Minh Vương, mẹ ông là người Việt. Vua cha không chọn ông nối nghiệp mà chọn Triệu Hưng là con của Cù hậu.

Cù hậu tư thông với sứ giả nhà Hán là An Quốc Thiếu Quý, muốn mang Nam Việt quy phục nhà Hán. Triệu Ai Vương còn trẻ, chỉ biết nghe theo lời mẹ. Kết quả là Thừa tướng Lữ Gia đem quân giết Cù hậu, Ai Vương và cả Thiếu Quý. Sau đó, đưa Kiến Đức lên kế vị, tức là Triệu Dương Vương.